Năm 1670, khi tám tuổi, Charles đính hôn với Mary Wood, người con cũng như là người thừa kế duy nhất của Henry Wood, Tòng Nam tước thứ 1, nhưng với điều kiện là cuộc hôn nhân phải hoãn lại cho đến khi Mary được 16 tuổi. Sau cái chết của cha, Nữ Công tước xứ Cleveland ít nhiều đã ép buộc Mary ở với mình, với ý định nuôi dưỡng Mary cùng các con. Năm 1675, Charles FitzRoy được Vua cha Charles II phong tước hiệu Công tước xứ Southampton, cùng với các tước hiệu khác là Bá tước xứ Chichester và Nam tước Newbury. Charles kết hôn với Mary Wood vào năm 1679 nhưng cuộc hôn nhân chỉ kéo dài vài tháng vì Mary qua đời vì bệnh đậu mùa. Hai người cũng không có con chung.[3]

Năm 1694, Charles tái hôn với Anne Pulteney, con gái của Ngài William Pulteney, ở Misterton, Leicestershire. Hai vợ chồng có sáu người con:[3]

• Grace FitzRoy, Bá tước phu nhân xứ Darlington, sinh ngày 28 tháng 3 năm 1697, kết hôn năm 1725 với Henry Vane, sau được phong là Bá tước xứ Darlington.
• William FitzRoy, Công tước thứ 3 xứ Cleveland và Công tước thứ 2 xứ Southampton (19 tháng 2 năm 1698 – 18 tháng 5 năm 1774).
• Charles Fitzroy (13 tháng 2 năm 1698 – 31 tháng 7 năm 1723).
• Henry Fitzroy (17 tháng 8 năm 1701 – 1709).
• Anne FitzRoy, (12 tháng 11 năm 1702 - 13 tháng 2 năm 1769), kết hôn với John Paddey.
• Barbara FitzRoy, qua đời mà không lập gia đình.

Sau cái chết của mẹ vào năm 1709, Charles trở thành Công tước thứ hai xứ Cleveland, thông qua điều khoản bổ sung đặc biệt cho phép Charles thừa kế tước hiệu bất chấp là con ngoại hôn.

Charles FitzRoy qua đời vào ngày 9 tháng 9 năm 1730 và được chôn cất tại Tu viện Westminster.[3] Tước hiệu của Charles được truyền thừa cho người con trai cả là William FitzRoy (1698–1774), William qua đời mà không có hậu duệ, do đó tất cả các tước hiệu của Charles trở lại với Vương quyền. [4]